在本文中，我们对数值模拟的加速感兴趣。我们专注于高超音速行星再入问题，该问题涉及耦合流体动力学和化学反应。模拟化学反应需要大部分计算时间，但另一方面，无法避免获得准确的预测。我们面临成本效率和准确性之间的权衡：模拟代码必须足够有效地在操作环境中使用，但必须足够准确，以忠实地预测现象。为了解决这个权衡，我们设计了一个混合模拟代码，将传统的流体动态求解器与近似化学反应的神经网络耦合。当在大数据上下文中应用以及它们源于其矩阵矢量结构的效率时，我们依靠它们的力量来实现重要的加速因子（$ \ tims 10 $至$ \ times 18.6 $）。本文旨在解释我们如何在实践中设计这种具有成本效益的混合模拟代码。最重要的是，我们描述了确保准确性保证的方法论，使我们能够超越传统的替代建模，并将这些代码用作参考。
translated by 谷歌翻译
是否可以在深网络中重组非线性激活函数以创建硬件有效的模型？为了解决这个问题，我们提出了一个称为重组激活网络（RANS）的新范式，该范式操纵模型中的非线性数量以提高其硬件意识和效率。首先，我们提出了RAN-STHICER（RAN-E） - 一个新的硬件感知搜索空间和半自动搜索算法 - 用硬件感知的块替换效率低下的块。接下来，我们提出了一种称为RAN-IMPLICIC（RAN-I）的无训练模型缩放方法，从理论上讲，我们在非线性单元的数量方面证明了网络拓扑与其表现性之间的联系。我们证明，我们的网络在不同尺度和几种类型的硬件上实现最新的成像网结果。例如，与有效网络-lite-B0相比，RAN-E在ARM Micro-NPU上每秒（FPS）提高了1.5倍，同时提高了类似的精度。另一方面，ran-i以相似或更好的精度表现出#macs的#macs降低2倍。我们还表明，在基于ARM的数据中心CPU上，RAN-I的FPS比Convnext高40％。最后，与基于Convnext的模型相比，基于RAN-I的对象检测网络在数据中心CPU上获得了类似或更高的映射，并且在数据中心CPU上的fps高达33％。
translated by 谷歌翻译
十多年来，机器人技术和人造代理的使用已成为普遍的事物。测试新路径查找或搜索空间优化算法的性能也已成为挑战，因为它们需要模拟或环境来测试它们。具有人造代理的人工环境是测试这种算法的方法之一。游戏也已成为测试它们的环境。可以通过使用将根据环境中的算法来比较这些算法的性能提出。性能参数可以是，代理商能够在奖励行动和敌对行动之间区分多快。可以通过将代理放置在具有不同类型障碍的环境中，而代理的目标是达到最远的通过决定将避免所有障碍的行动做出决定。选择的环境是一种称为“脆弱鸟”的游戏。 E游戏是要使鸟飞过一组随机高度的管道。鸟必须在这些管道之间进行，并且不能击中顶部，底部或管道本身。在人造药物上强制执行的算法是增强拓扑的神经进化（整洁）和增强学习的算法。整洁的算法采用人工的初始群体，这些算法遵循遗传算法，请遵循“ n n”初始算法。一个目标功能，交叉，突变和增强拓扑结构。另一方面，提升方形学习记得状态，在该状态下采取的行动以及使用单个代理和深层学习网络采取的行动获得的奖励随着人造药物的初始种群的增加，整洁算法的性能不断提高。
translated by 谷歌翻译
神经表示是表示形状的流行，因为它们可以学习形式传感器数据，并用于数据清理，模型完成，形状编辑和形状合成。当前的神经表示形式可以归类为对单个对象实例的过度拟合或表示对象集合。但是，都不允许对神经场景表示的准确编辑：一方面，过度拟合对象实现高度准确的重建的方法，但不能推广到看不见的对象配置，因此无法支持编辑；另一方面，代表具有变化的对象家族的方法确实概括了，但仅产生近似重建。我们建议Neuform使用最适合每个形状区域的一个：可靠数据的过拟合表示，以及可靠的可用数据以及其他任何地方的可推广表示形式，以适应过度拟合和可推广表示的优势。我们通过精心设计的体系结构和一种将两个表示网络权重融合在一起的方法，避免接缝和其他工件。我们展示了成功重新配置人类设计的形状的部分，例如椅子，表和灯，同时保留语义完整性和过度拟合形状表示的准确性。我们与两个最先进的竞争对手进行了比较，并在合理性和结果编辑的忠诚度方面取得了明显的改善。
translated by 谷歌翻译
腔内器官内部的导航是一项艰巨的任务，需要在操作员的手的运动与从内窥镜视频获得的信息之间进行非直觉的协调。开发自动化某些任务的工具可以减轻干预期间医生的身体和精神负担，从而使他们专注于诊断和决策任务。在本文中，我们提出了一种用于腔内导航的协同解决方案，该解决方案由3D打印的内窥镜软机器人组成，该机器人可以在腔内结构内安全移动。基于卷积神经网络（CNN）的Visual Servoing用于完成自主导航任务。 CNN经过幻象和体内数据训练以分割管腔，并提出了一种无模型的方法来控制受约束环境中的运动。在不同的路径配置中，在解剖幻像中验证了所提出的机器人。我们使用不同的指标分析机器人的运动，例如任务完成时间，平滑度，稳态中的误差以及均值和最大误差。我们表明，我们的方法适合在空心环境和条件下安全导航，这些环境和条件与最初对网络训练的条件不同。
translated by 谷歌翻译
近年来，在诸如denoing，压缩感应，介入和超分辨率等反问题中使用深度学习方法的使用取得了重大进展。尽管这种作品主要是由实践算法和实验驱动的，但它也引起了各种有趣的理论问题。在本文中，我们调查了这一作品中一些突出的理论发展，尤其是生成先验，未经训练的神经网络先验和展开算法。除了总结这些主题中的现有结果外，我们还强调了一些持续的挑战和开放问题。
translated by 谷歌翻译
我们对学习协调的互动代理感兴趣，即$ BUILDER $ - 执行操作但忽略任务的目标 - 以及$架构师$指导建造者以朝着任务的目标指导。我们定义和探索正式的设置，其中人工代理配备了允许它们同时学习任务的机制，同时同时演变共享通信协议。实验符号学领域表明，从先验的未知指示中学习的人类熟练程度。因此，我们从中获取灵感并提出了建筑师构建器问题（ABP）：一个不对称的设置，其中建筑师必须学习指导建设者朝构建特定结构。该架构师知道目标结构，但不能在环境中行动，只能向构建器发送任意消息。另一方面的建筑师可以在环境中采取行动，但没有关于手头的任务的知识，必须学会解决它依赖于架构师发送的消息。至关重要的是，消息的含义最初没有在代理商之间定义，而是必须在整个学习中进行协商。在这些约束下，我们建议建筑师构建器迭代（abig），一个解决方案到架构师 - 建筑师的问题，其中建筑师利用Builder的学习模型指导它，同时构建器使用自模仿学习来加强其导游行为。我们分析ABIG的关键学习机制，并在ABP的二维实例化中测试，其中任务涉及抓取立方体，将它们放在给定位置或构建各种形状。在这种环境中，ABIG导致低级，高频，指导通信协议，不仅使建筑师构建器对能够在手头上解决任务，而且还可以概括到未操作任务。
translated by 谷歌翻译
鲁棒和准确的核心检测对于了解荧光显微镜图像中的生物结构是重要的。现有的自动核本地化方法面临三个主要挑战：（1）大多数物体检测方法仅在2D图像上工作，并且难以延伸到3D卷; （2）基于分段的模型可以在3D卷上使用，但对于大型显微镜卷是计算昂贵的，并且它们难以区分不同的物体实例; （3）手注释的地面真理限于3D显微镜体积。为了解决这些问题，我们提出了一种可扩展方法，用于3D显微镜卷的核质心检测。我们描述了RCNN-SliceNet以检测来自不同方向的每个体积的2D核质心，并且3D聚集等级聚类（AHC）用于估计体积中核的3D质心。使用空间约束的周期 - 一致的对冲网络（SPCyclegan）进行的合成显微镜数据接受培训，并在不同类型的真实3D显微镜数据上进行测试。广泛的实验结果表明，我们的提出方法可以准确地计数并检测3D显微镜体积中的核质心。
translated by 谷歌翻译
The success of neural networks builds to a large extent on their ability to create internal knowledge representations from real-world high-dimensional data, such as images, sound, or text. Approaches to extract and present these representations, in order to explain the neural network's decisions, is an active and multifaceted research field. To gain a deeper understanding of a central aspect of this field, we have performed a targeted review focusing on research that aims to associate internal representations with human understandable concepts. In doing this, we added a perspective on the existing research by using primarily deductive nomological explanations as a proposed taxonomy. We find this taxonomy and theories of causality, useful for understanding what can be expected, and not expected, from neural network explanations. The analysis additionally uncovers an ambiguity in the reviewed literature related to the goal of model explainability; is it understanding the ML model or, is it actionable explanations useful in the deployment domain?
translated by 谷歌翻译
Many problems in machine learning involve bilevel optimization (BLO), including hyperparameter optimization, meta-learning, and dataset distillation. Bilevel problems consist of two nested sub-problems, called the outer and inner problems, respectively. In practice, often at least one of these sub-problems is overparameterized. In this case, there are many ways to choose among optima that achieve equivalent objective values. Inspired by recent studies of the implicit bias induced by optimization algorithms in single-level optimization, we investigate the implicit bias of gradient-based algorithms for bilevel optimization. We delineate two standard BLO methods -- cold-start and warm-start -- and show that the converged solution or long-run behavior depends to a large degree on these and other algorithmic choices, such as the hypergradient approximation. We also show that the inner solutions obtained by warm-start BLO can encode a surprising amount of information about the outer objective, even when the outer parameters are low-dimensional. We believe that implicit bias deserves as central a role in the study of bilevel optimization as it has attained in the study of single-level neural net optimization.
translated by 谷歌翻译